Nhạc viện được thành lập vào năm 1862 bởi Anton Rubinstein, một nghệ sĩ dương cầm người Nga và nhà soạn nhạc nổi tiếng. Khi từ chức vào năm 1867, ông được kế nhiệm bởi Nikolai Zaremba. Nikolai Rimsky-Korsakov được bổ nhiệm làm giáo sư năm 1871, và Nhạc viện đã lấy tên ông từ năm 1944. Năm 1887, Rubinstein trở lại Nhạc viện với mục tiêu cải thiện các tiêu chuẩn tổng thể. Ông sửa đổi chương trình giảng dạy, trục xuất học sinh kém, sa thải và giáng chức nhiều giáo sư, và yêu cầu tuyển sinh và kiểm tra nghiêm ngặt hơn. Năm 1891, ông từ chức một lần nữa do yêu cầu Hoàng gia về hạn ngạch chủng tộc.

Tòa nhà hiện tại được xây dựng vào những năm 1890 trên trang nền của Nhà hát Bolshoi cũ của Sankt-Peterburg, và nơi đây vẫn bảo tồn cầu thang và sảnh lớn của nó. Khi thành phố đổi tên vào thế kỷ 20, Nhạc viện đã được đổi tên thành Nhạc viện Petrograd (Петроградская консерватория) và Nhạc viện Leningrad (Ленинградская консерватория).

Các cựu sinh viên của trường đã bao gồm các nhà soạn nhạc đáng chú ý như Pyotr Tchaikovsky, Sergei Prokofiev, Artur Kapp, và Rudolf Tobias và Dmitri Shostakovich, người đã dạy tại Nhạc viện trong những năm 1960, mang lại thêm danh tiếng cho Nhạc viện. Trong số các học trò của nhạc viện thì có German Okunev và Boris Tishchenko là xuất chúng.

Nhà soạn nhạc Nikolai Rimsky-Korsakov giảng dạy tại Nhạc Viện trong gần bốn mươi năm, ông nay có tượng đài bằng đồng nằm bên ngoài tòa nhà ở Quảng trường Nhà hát.

Nhạc sĩ trẻ nhất từng được nhận vào Nhạc viện là nghệ sĩ violin bốn tuổi Clara Rockmore, người sau này trở thành một trong những nhạc công ưu tú hàng đầu thế giới.